Python Circuit Breaker: Budowanie aplikacji odpornych na uszkodzenia

W świecie systemów rozproszonych i mikroserwisów radzenie sobie z awariami jest nieuniknione. Usługi mogą stać się niedostępne z powodu problemów z siecią, przeciążonych serwerów lub nieoczekiwanych błędów. Gdy uszkodzona usługa nie jest obsługiwana prawidłowo, może to prowadzić do kaskadowych awarii, które zawieszają całe systemy. Wzorzec Circuit Breaker jest potężną techniką zapobiegania tym kaskadowym awariom i budowania bardziej odpornych aplikacji. Ten artykuł zawiera kompleksowy przewodnik po implementacji wzorca Circuit Breaker w Pythonie.

Czym jest wzorzec Circuit Breaker?

Wzorzec Circuit Breaker, inspirowany elektrycznymi wyłącznikami obwodów, działa jako proxy dla operacji, które mogą się nie powieść. Monitoruje wskaźniki sukcesu i niepowodzeń tych operacji, a po osiągnięciu określonego progu niepowodzeń „wyzwala” obwód, zapobiegając dalszym wywołaniom do uszkodzonej usługi. Pozwala to uszkodzonej usłudze na odzyskanie sprawności bez przeciążania żądaniami i zapobiega marnowaniu zasobów przez usługę wywołującą na próby połączenia się z usługą, o której wiadomo, że jest niedostępna.

Circuit Breaker ma trzy główne stany:

• Closed: Wyłącznik jest w normalnym stanie, umożliwiając przekazywanie wywołań do chronionej usługi. Monitoruje sukces i niepowodzenie tych wywołań.
• Open: Wyłącznik jest wyzwolony i wszystkie wywołania do chronionej usługi są blokowane. Po upływie określonego czasu oczekiwania wyłącznik przechodzi w stan Half-Open.
• Half-Open: Wyłącznik zezwala na ograniczoną liczbę wywołań testowych do chronionej usługi. Jeśli te wywołania zakończą się powodzeniem, wyłącznik powraca do stanu Closed. Jeśli się nie powiodą, powraca do stanu Open.

Oto prosta analogia: wyobraź sobie, że próbujesz wypłacić pieniądze z bankomatu. Jeśli bankomat wielokrotnie nie wypłaca gotówki (być może z powodu błędu systemowego w banku), interweniuje Circuit Breaker. Zamiast kontynuować próby wypłat, które prawdopodobnie się nie powiodą, Circuit Breaker tymczasowo zablokuje dalsze próby (stan Open). Po pewnym czasie może zezwolić na pojedynczą próbę wypłaty (stan Half-Open). Jeśli ta próba się powiedzie, Circuit Breaker wznowi normalne działanie (stan Closed). Jeśli się nie powiedzie, Circuit Breaker pozostanie w stanie Open przez dłuższy czas.

Dlaczego warto używać Circuit Breaker?

Implementacja Circuit Breaker oferuje kilka korzyści:

• Zapobiega kaskadowym awariom: Blokując wywołania do uszkodzonej usługi, Circuit Breaker zapobiega rozprzestrzenianiu się awarii na inne części systemu.
• Poprawia odporność systemu: Circuit Breaker pozwala uszkodzonym usługom na odzyskanie sprawności bez przeciążania żądaniami, co prowadzi do bardziej stabilnego i odpornego systemu.
• Zmniejsza zużycie zasobów: Unikając niepotrzebnych wywołań do uszkodzonej usługi, Circuit Breaker zmniejsza zużycie zasobów zarówno w usłudze wywołującej, jak i wywoływanej.
• Zapewnia mechanizmy rezerwowe: Gdy obwód jest otwarty, usługa wywołująca może uruchomić mechanizm rezerwowy, taki jak zwracanie wartości z pamięci podręcznej lub wyświetlanie komunikatu o błędzie, zapewniając lepsze wrażenia użytkownika.

Implementacja Circuit Breaker w Pythonie

Istnieje kilka sposobów implementacji wzorca Circuit Breaker w Pythonie. Możesz zbudować własną implementację od podstaw lub użyć biblioteki сторонной. Tutaj zbadamy oba podejścia.

1. Budowanie niestandardowego Circuit Breaker

Zacznijmy od podstawowej, niestandardowej implementacji, aby zrozumieć podstawowe koncepcje. Ten przykład wykorzystuje moduł `threading` dla bezpieczeństwa wątków i moduł `time` do obsługi przekroczeń czasu oczekiwania.

            
import time
import threading

class CircuitBreaker:
    def __init__(self, failure_threshold, recovery_timeout):
        self.failure_threshold = failure_threshold
        self.recovery_timeout = recovery_timeout
        self.state = "CLOSED"
        self.failure_count = 0
        self.last_failure_time = None
        self.lock = threading.Lock()

    def call(self, func, *args, **kwargs):
        with self.lock:
            if self.state == "OPEN":
                if time.time() - self.last_failure_time > self.recovery_timeout:
                    self.state = "HALF_OPEN"
                else:
                    raise CircuitBreakerError("Circuit breaker is open")

        try:
            result = func(*args, **kwargs)
            self.reset()
            return result
        except Exception as e:
            self.record_failure()
            raise e

    def record_failure(self):
        with self.lock:
            self.failure_count += 1
            self.last_failure_time = time.time()

            if self.failure_count >= self.failure_threshold:
                self.state = "OPEN"
                print("Circuit breaker opened")

    def reset(self):
        with self.lock:
            self.failure_count = 0
            self.state = "CLOSED"
            print("Circuit breaker closed")

class CircuitBreakerError(Exception):
    pass

# Example Usage
def unreliable_service():
    # Simulate a service that sometimes fails
    import random
    if random.random() < 0.5:
        raise Exception("Service failed")
    else:
        return "Service successful"

circuit_breaker = CircuitBreaker(failure_threshold=3, recovery_timeout=10)

for i in range(10):
    try:
        result = circuit_breaker.call(unreliable_service)
        print(f"Call {i+1}: {result}")
    except CircuitBreakerError as e:
        print(f"Call {i+1}: {e}")
    except Exception as e:
        print(f"Call {i+1}: Service failed: {e}")
    time.sleep(1) 

            

              
                Copy
              
            
          

Wyjaśnienie:

• Klasa `CircuitBreaker`:
  • `__init__(self, failure_threshold, recovery_timeout)`: Inicjalizuje wyłącznik obwodu z progiem awarii (liczba awarii przed wyzwoleniem obwodu), czasem oczekiwania na odzyskanie (czas oczekiwania przed podjęciem próby stanu półotwartego) i ustawia stan początkowy na `CLOSED`.
  • `call(self, func, *args, **kwargs)`: Jest to główna metoda, która otacza funkcję, którą chcesz chronić. Sprawdza bieżący stan wyłącznika obwodu. Jeśli jest `OPEN`, sprawdza, czy upłynął czas oczekiwania na odzyskanie. Jeśli tak, przechodzi do `HALF_OPEN`. W przeciwnym razie zgłasza `CircuitBreakerError`. Jeśli stan nie jest `OPEN`, wykonuje funkcję i obsługuje potencjalne wyjątki.
  • `record_failure(self)`: Zwiększa licznik awarii i rejestruje czas awarii. Jeśli liczba awarii przekroczy próg, przełącza obwód do stanu `OPEN`.
  • `reset(self)`: Resetuje licznik awarii i przełącza obwód do stanu `CLOSED`.
• Klasa `CircuitBreakerError`: Niestandardowy wyjątek zgłaszany, gdy wyłącznik obwodu jest otwarty.
• Funkcja `unreliable_service()`: Symuluje usługę, która losowo zawodzi.
• Przykład użycia: Pokazuje, jak używać klasy `CircuitBreaker` do ochrony funkcji `unreliable_service()`.

Kluczowe kwestie dotyczące niestandardowej implementacji:

• Bezpieczeństwo wątków: `threading.Lock()` jest kluczowy dla zapewnienia bezpieczeństwa wątków, szczególnie w środowiskach współbieżnych.
• Obsługa błędów: Blok `try...except` przechwytuje wyjątki z chronionej usługi i wywołuje `record_failure()`.
• Przejścia stanu: Logika przechodzenia między stanami `CLOSED`, `OPEN` i `HALF_OPEN` jest zaimplementowana w metodach `call()` i `record_failure()`.

2. Korzystanie z biblioteki сторонней: `pybreaker`

Chociaż budowanie własnego Circuit Breaker może być dobrym doświadczeniem edukacyjnym, używanie dobrze przetestowanej biblioteki сторонней jest często lepszą opcją dla środowisk produkcyjnych. Jedną z popularnych bibliotek Pythona do implementacji wzorca Circuit Breaker jest `pybreaker`.

Instalacja:

            
pip install pybreaker

            

              
                Copy
              
            
          

Przykład użycia:

            
import pybreaker
import time

# Define a custom exception for our service
class ServiceError(Exception):
    pass

# Simulate an unreliable service
def unreliable_service():
    import random
    if random.random() < 0.5:
        raise ServiceError("Service failed")
    else:
        return "Service successful"

# Create a CircuitBreaker instance
circuit_breaker = pybreaker.CircuitBreaker(
    fail_max=3,  # Number of failures before opening the circuit
    reset_timeout=10,  # Time in seconds before attempting to close the circuit
    name="MyService"
)

# Wrap the unreliable service with the CircuitBreaker
@circuit_breaker
def call_unreliable_service():
    return unreliable_service()

# Make calls to the service
for i in range(10):
    try:
        result = call_unreliable_service()
        print(f"Call {i+1}: {result}")
    except pybreaker.CircuitBreakerError as e:
        print(f"Call {i+1}: Circuit breaker is open: {e}")
    except ServiceError as e:
        print(f"Call {i+1}: Service failed: {e}")
    time.sleep(1)

            

              
                Copy
              
            
          

Wyjaśnienie:

• Instalacja: Polecenie `pip install pybreaker` instaluje bibliotekę.
• Klasa `pybreaker.CircuitBreaker`:
  • `fail_max`: Określa liczbę kolejnych awarii, po których wyłącznik obwodu się otwiera.
  • `reset_timeout`: Określa czas (w sekundach), przez jaki wyłącznik obwodu pozostaje otwarty przed przejściem w stan półotwarty.
  • `name`: Opisowa nazwa wyłącznika obwodu.
• Dekorator: Dekorator `@circuit_breaker` otacza funkcję `unreliable_service()`, automatycznie obsługując logikę wyłącznika obwodu.
• Obsługa wyjątków: Blok `try...except` przechwytuje `pybreaker.CircuitBreakerError`, gdy obwód jest otwarty, i `ServiceError` (nasz niestandardowy wyjątek), gdy usługa zawodzi.

Zalety korzystania z `pybreaker`:

• Uproszczona implementacja: `pybreaker` zapewnia przejrzysty i łatwy w użyciu interfejs API, redukując ilość kodu.
• Bezpieczeństwo wątków: `pybreaker` jest bezpieczny dla wątków, dzięki czemu nadaje się do aplikacji współbieżnych.
• Konfigurowalny: Można konfigurować różne parametry, takie jak próg awarii, czas oczekiwania na reset i odbiorniki zdarzeń.
• Odbiorniki zdarzeń: `pybreaker` obsługuje odbiorniki zdarzeń, umożliwiając monitorowanie stanu wyłącznika obwodu i podejmowanie odpowiednich działań (np. rejestrowanie, wysyłanie alertów).

3. Zaawansowane koncepcje Circuit Breaker

Oprócz podstawowej implementacji istnieje kilka zaawansowanych koncepcji, które należy wziąć pod uwagę podczas korzystania z Circuit Breaker:

• Metryki i monitorowanie: Zbieranie metryk dotyczących wydajności Circuit Breaker jest niezbędne do zrozumienia ich zachowania i identyfikacji potencjalnych problemów. Biblioteki takie jak Prometheus i Grafana mogą być używane do wizualizacji tych metryk. Śledź metryki, takie jak:
• Stan Circuit Breaker (otwarty, zamknięty, półotwarty)
• Liczba udanych wywołań
• Liczba nieudanych wywołań
• Opóźnienie wywołań
• Mechanizmy rezerwowe: Gdy obwód jest otwarty, potrzebujesz strategii obsługi żądań. Typowe mechanizmy rezerwowe obejmują:
• Zwracanie wartości z pamięci podręcznej.
• Wyświetlanie komunikatu o błędzie użytkownikowi.
• Wywoływanie alternatywnej usługi.
• Zwracanie wartości domyślnej.
• Asynchroniczne Circuit Breaker: W aplikacjach asynchronicznych (korzystających z `asyncio`) będziesz musiał użyć asynchronicznej implementacji Circuit Breaker. Niektóre biblioteki oferują obsługę asynchroniczną.
• Groździe: Wzorzec grodzi izoluje części aplikacji, aby zapobiec przenoszeniu się awarii z jednej części do innych. Circuit Breaker mogą być używane w połączeniu z grodziami, aby zapewnić jeszcze większą tolerancję na uszkodzenia.
• Circuit Breaker oparte na czasie: Zamiast śledzić liczbę awarii, Circuit Breaker oparty na czasie otwiera obwód, jeśli średni czas odpowiedzi chronionej usługi przekroczy określony próg w danym oknie czasowym.

Praktyczne przykłady i przypadki użycia

Oto kilka praktycznych przykładów, jak można używać Circuit Breaker w różnych scenariuszach:

• Architektura mikroserwisów: W architekturze mikroserwisów usługi często zależą od siebie. Circuit Breaker może chronić usługę przed przeciążeniem awariami w usłudze podrzędnej. Na przykład aplikacja e-commerce może mieć oddzielne mikroserwisy dla katalogu produktów, przetwarzania zamówień i przetwarzania płatności. Jeśli usługa przetwarzania płatności stanie się niedostępna, Circuit Breaker w usłudze przetwarzania zamówień może uniemożliwić tworzenie nowych zamówień, zapobiegając kaskadowej awarii.
• Połączenia z bazą danych: Jeśli twoja aplikacja często łączy się z bazą danych, Circuit Breaker może zapobiec burzom połączeń, gdy baza danych jest niedostępna. Rozważ aplikację, która łączy się z geograficznie rozproszoną bazą danych. Jeśli awaria sieci wpłynie na jeden z regionów bazy danych, Circuit Breaker może uniemożliwić aplikacji wielokrotne próby połączenia się z niedostępnym regionem, poprawiając wydajność i stabilność.
• Zewnętrzne interfejsy API: Podczas wywoływania zewnętrznych interfejsów API Circuit Breaker może chronić twoją aplikację przed przejściowymi błędami i awariami. Wiele organizacji polega na interfejsach API сторонней do różnych funkcji. Otaczając wywołania API za pomocą Circuit Breaker, organizacje mogą budować bardziej niezawodne integracje i zmniejszać wpływ awarii zewnętrznych interfejsów API.
• Logika ponawiania: Circuit Breaker mogą współpracować z logiką ponawiania. Ważne jest jednak, aby unikać agresywnych ponowień, które mogą pogorszyć problem. Circuit Breaker powinien zapobiegać ponowieniom, gdy wiadomo, że usługa jest niedostępna.

Globalne kwestie

• Opóźnienie sieci: Opóźnienie sieci może się znacznie różnić w zależności od położenia geograficznego usług wywołujących i wywoływanych. Odpowiednio dostosuj czas oczekiwania na odzyskanie. Na przykład wywołania między usługami w Ameryce Północnej i Europie mogą powodować większe opóźnienia niż wywołania w tym samym regionie.
• Strefy czasowe: Upewnij się, że wszystkie znaczniki czasu są obsługiwane spójnie w różnych strefach czasowych. Używaj UTC do przechowywania znaczników czasu.
• Regionalne awarie: Rozważ możliwość regionalnych awarii i zaimplementuj Circuit Breaker, aby izolować awarie do określonych regionów.
• Kwestie kulturowe: Projektując mechanizmy rezerwowe, weź pod uwagę kontekst kulturowy użytkowników. Na przykład komunikaty o błędach powinny być zlokalizowane i odpowiednie kulturowo.

Najlepsze praktyki

Oto kilka najlepszych praktyk dotyczących skutecznego korzystania z Circuit Breaker:

• Zacznij od konserwatywnych ustawień: Zacznij od stosunkowo niskiego progu awarii i dłuższego czasu oczekiwania na odzyskanie. Monitoruj zachowanie Circuit Breaker i dostosuj ustawienia w razie potrzeby.
• Używaj odpowiednich mechanizmów rezerwowych: Wybierz mechanizmy rezerwowe, które zapewniają dobre wrażenia użytkownika i minimalizują wpływ awarii.
• Monitoruj stan Circuit Breaker: Śledź stan swoich Circuit Breaker i skonfiguruj alerty, aby powiadamiać cię, gdy obwód jest otwarty.
• Testuj zachowanie Circuit Breaker: Symuluj awarie w środowisku testowym, aby upewnić się, że Circuit Breaker działają poprawnie.
• Unikaj polegania w nadmiernym stopniu na Circuit Breaker: Circuit Breaker to narzędzie do łagodzenia awarii, ale nie zastępuje ono usuwania podstawowych przyczyn tych awarii. Zbadaj i napraw podstawowe przyczyny niestabilności usługi.
• Rozważ rozproszone śledzenie: Zintegruj rozproszone narzędzia do śledzenia (takie jak Jaeger lub Zipkin), aby śledzić żądania w wielu usługach. Może to pomóc w zidentyfikowaniu pierwotnej przyczyny awarii i zrozumieniu wpływu Circuit Breaker na cały system.

Podsumowanie

Wzorzec Circuit Breaker jest cennym narzędziem do budowania aplikacji odpornych na uszkodzenia i stabilnych. Zapobiegając kaskadowym awariom i pozwalając uszkodzonym usługom na odzyskanie sprawności, Circuit Breaker mogą znacznie poprawić stabilność i dostępność systemu. Niezależnie od tego, czy zdecydujesz się zbudować własną implementację, czy użyć biblioteki сторонней, takiej jak `pybreaker`, zrozumienie podstawowych koncepcji i najlepszych praktyk wzorca Circuit Breaker jest niezbędne do tworzenia niezawodnego oprogramowania w dzisiejszych złożonych środowiskach rozproszonych.

Wdrażając zasady opisane w tym przewodniku, możesz budować aplikacje Pythona, które są bardziej odporne na awarie, zapewniając lepsze wrażenia użytkownika i bardziej stabilny system, niezależnie od globalnego zasięgu.